עיבוד אות דיבור - מבוא. המטרה:- הקניית ידע בסיסי בתכונות אות הדיבור, מודלים מתמטיים לייצוגו וכלים לעיבוד אות דיבור.

Size: px

Start display at page:

Download "עיבוד אות דיבור - מבוא. המטרה:- הקניית ידע בסיסי בתכונות אות הדיבור, מודלים מתמטיים לייצוגו וכלים לעיבוד אות דיבור."

Garry Gordon
5 years ago
Views:

1 31 - מבוא. א. המטרה:- הקניית ידע בסיסי בתכונות אות הדיבור, מודלים מתמטיים לייצוגו וכלים לעיבוד אות דיבור. ב. ספרות:- J.K. Markel, "The SIFT algorithm for fundamental frequency estimation", IEEE Trans. Audio Electroacoust., vol. AU-20, pp , Dec J.R. Deller, J.G. Proakis and J.H.L. Hauses, Discrete Time Processing of Speech, (TK7882.S65D44). F. Fallside and W.A. Woods, Computer Speech Processing, (TK7895.S65C65). S. Furui, Digital Speech Processing, Synthesis and Recognition, (TK7882.S65F87). D. O. Shaughnessy, Speech Comunication: Human and Machine, (P95.O74). L.R. Rabiner and R.W. Schafer, Digital Processing of Speech Signals, (TK7882.S65R3) S. Saito and K. Nakata, Fundamentals of Speech Signal Processing, (TK7882.S65S24). ג ציוד נדרש:- מחשב מסנן:,.1952 Universal Filter כרטיס לדגימה ושיחזור בעל רזולוציה מינימאלית של 12bit ושליטה מלאה על תדר דגימה ושיחזור. תוכנת,MATLAB ופונקציות שירות למעבדה. פונקציות שירות:.Pitch לשיערוך תדר - sift.m - Formants.m לשיערוך תדרים בסיסים. min,max, fliplr,hamminig,filter,freqz,axis xy,imagesc hist,imagesc,mesh,mean.,,specgram,colormap(gray).size העזר בפקודות:

2 32 ד. שאלות הכנה. 1. מנגנון יצירת אות הדיבור. 1.1 תאר את מערכת יצירת אות הדיבור ואת איברי הדיבור המשתתפים בתהליך יצירת אות הדיבור. 1.2 מהם מיתרי הקול?. 2 סטטיסטיקה של אות דיבור. 2.1 תן מודל להתפלגות אמפליטודת אות הדיבור )בזמן(. 3 מערכות לייצוג מנגנון יצירת אות הדיבור. 3.1 שרטט את מודל החזאי הלינארי prediction( (Linear לייצוג מנגנון יצירת אות הדיבור. 3.2 מדוע קיימים במודל שני סוגי אותות בכניסת המסנן תן את המודל המתמטי המתאר את מודל חזאי לינארי. 3.4 תאר את מודל מוליך גלים לייצוג מנגנון יצירת אות הדיבור.)אין צורך בנוסחאות( 3.5 כיצד מתקשר מודל מוליך גלים למסלול יצירת אות הדיבור? 3.6 תן את המודל המתמטי המתאר את מודל מוליך גלים,(Lattice( מקדמי.PARCOR 3.7 תן את נוסחת חישוב PSD של האות במוצא החזאי הלינארי )אין צורך לפתח הנוסחה(. את מאפיינים של אות הדיבור. 4.1 הסבר את משמעות כל אחד מהמאפיינים הבאים : א. אות דיבור UnVoiced ו- Voiced. ב. אות דיבור אפי.(Nasal( ג..Pitch ד..Formants הראה את הקשר בן מיקומם של שני קטבים צמודים במישור Z, ובין התדר האפליטודה ורוחב הסרט של הפורמנטות הנוצרות על ידם. 4.3 כיצד מייצגים את תדר ה- Pitch במודל חזאי לינארי? 4.4 לגבי המאפיינים המוזכרים בסעיף 4.1 ציין מי מהם מושפע יותר מ: א. תוכן אות הדיבור. ב. הדובר. ניתוח אות דיבור בעזרת ספקטרוגרמה. 5.1 הסבר מדוע אות הדיבור הוא אות לא סטציונרי. 5.2 לעבוד אות הדיבור נהוג להשתמש בשיטת.)Short Time Fourier Transform( STFT הסבר מדוע ותן סדרי גודל למשך החלונות בהם יש להשתמש. 5.3 מהו ההבדל הצפוי ב- STFT של אות Voiced כאשר משתמשים בחלון בעל משך של כ- 5msec ובחלון שמשכו כ- 30msec. 5.4 איזה מידע ניתן לראות בספקטרוגרמה, וכיצד משפיע אורך החלון על המידע המוצג? 5.5 הצע אלגורתם מפורט לחישוב ספקטרוגרם של אות דיבור, קבע את הפרמטרים של אלגורתם. התייחס לנקודות הבאות: א. משך חלון. ב. סוג חלון. ג. שיטת שיערוך הספקטרום.

3 33 מאפיין ה-.Cepstrum 6.1 תאר את המודל המתמטי של מאפיין ה- Cepstrum. 6.2 מהי ההנחה הבסיסית מאחורי מודל זה לגבי אופן יצירת האות המנותח? האם הנחה זו נכונה למודלים של אות הדיבור? 6.3 כיצד מחשבים את ה- Pitch מתוך ה- Cepstrum. )להשיג מקור או דוגמא(.6 לימוד אלגוריתם. 7.1 תאר את אלגוריתם Levinson-Durbin לחישוב מקדמי חיזוי לינארי ( Linear.PARCOR ומקדמי )Prediction Coefficients 7.2 תן את הקשר המתמטי בין מקדמי חיזוי לינארי (LPC( למקדמי ה- Cepstrum. מה משמעות מקדם ה- Cepstrum הראשון. 7.3 תן נוסחה לחישוב אנרגיה )של מסגרות אות דיבור(. כיצד מתקשר מאפיין האנרגיה למקטעי דיבור.Voiced/Unvoiced 7.4 הסבר מהו מאפיין חצית אפס CRossing(.(Zero כיצד מתקשר מאפיין ZCR למקטעי דיבור.Voiced/Unvoiced 7.5 תאר את אלגוריתם SIFT לחישוב תדר ה- Pitch. )מקור: "The SIFT algorithm for fundamental frequency,j.d. Markel ) estimation 7.6 הסבר את סכמת המלבנים מצורפת לחישוב.Formants התייחס למשמעות של בצוע FFT על ריפוד באפסים של מקדמי.AR מדוע מעניינות אותנו נקודות המינימום ולא נקודות המקסימום?.7 Speech ריפוד אפסים של וקטור AR חשב מקדמי AR FFT מציאת נקודות מינימום 7.7 מה הקשר בין מקדמי LPC ל- Formants? לימוד עיבוד מקדים ל: לפניך סכמת מלבנים של עיבוד סיפרתי מקדים (Preprocessing( לאות הדיבור: 8 Speech הורדת DC הכפלה בחלון הקטעה למסגרות מסנן מדגיש 8.1 מדוע יש להוריד רמת DC לאות הדיבור הדגום? האם קיום רמת, DC באות הדיבור הדגום, מתאימה להתפלגות של אות הדיבור? 8.2 תן את נוסחת מסנן מדגיש (Preemphasis( ותן את הסיבה להוספתו לשלב העיבוד המקדים. 8.3 מהם השיקולים לבחירת אורך המסגרת?(Frame( קשר את התשובה לספקטרוגרמה. מהו תחום אורך מסגרת ב? 8.4 מדוע מכפילים את אות הדיבור בחלון? 8.5 חלון Hamming הוא המקובל ביותר בעיבוד מקדים של אותות דיבור. תן את הביטוי עבור חלון Hamming במישור הזמן והתדר ושרטט אותם.

4 34 ה. מהלך ה 1. מאפיין ה-.Cepstrum 1.1 יש לדגום 10 קבצים. יש לדגום פעמיים כל מילה מרשימת המילים הבאים: ס יף- SIF ס ף- SAF ס וף- SOF ס ף- SEF ס וף- SUF תדר הדגימה הוא.10Khz את שאר תנאי הדגימה קבע לבד, ציין את התנאים והשיקולים בדוח מסכם. שמות הקבצים הדגומים יהיו במבנה הבא: nam_sefn.smp - nam קיצור שם הסטודנט. )באורך 3 תוים( - sef המילה הדגומה, אחד מ:.saf,sif,sof,sef,suf )באורך 3 תוים( - N מספר סידורי של הדגימה. )תו אחד( 1.2 בצע הקטעה ידנית של כל אחד מהקבצים הדגומים. שים לב כי כל קטעי הדיבור מורכבים מחמישה קטעי דיבור: שקט Unvoiced Voiced Unvoice שקט סמן לגבי כל קובץ את גבולות המקטעים. ציין בדוח מסכם את אופן קביעת הגבולות )תצוגה גרפית \ שמיעה(. צרף לדוח פלט של קטע אחד הכולל סימון של הגבולות כפי שמצאת אותם. )שקט - מתייחס לקטע ללא אות דיבור עם רעש רקע(. עיבוד אות סינטטי. 2.1 סנטז שני אותות באורך 5000 דגמים בעזרת מודלים: קולי ו- אל-קולי..2 מודל קולי: סדרת הלמים G a 1z L a Nz N T= P( k) k - nt n0 אות כניסה N=20 a a a a a a G 1 10 a a a a a a a a a a a a a a a

5 35 מודל על-קולי : רעש לבן 01, G a1z L aqz Q Q=20 a a a a a a G a a a a a a a a a a a a a a a חשב תאורטית את הספקטרום, את הפורמנטות שערך מתוך הספקטרום המחושב. 2.3 שערך מתוך האותות את הנתונים הבאים: א. מקדמי חזאי לינארי.(LPC( ב. תדר.Pitch לשערוך תדר ה- Pitch השתמש בפונקצית עזר.SIFT ממש את האלגורתם להבחנה בין קטע Voiced לקטע Unvoiced המתואר ב- (Markel,1972) Fig12. כיצד מבחינים בין קטע קולי לקטע אל-קולי? הדרכה העזר בפונקצית עזר:.sift צורת קריאה לפונקציה: sift(signal,fs(; [Fr,Pr] = - Signal האות לעיבוד. - Fs תדר דגימה..Pitch תדר - Fr first Peak level (Aplitude) - Pr ג.. Formants הדרכה העזר בפונקצית עזר: formants צורת קריאה לפונקציה: [Freq,outAR]=formants(Si,p,AR,Fs,Lags(; -Si האות לעיבוד p -סדר מודל AR לחישוב. להפעיל הפונקציה ישירות על המקדמים במקום על אות)העזר בhelp ) AR -ניתן Fs -תדר דגימה Lags -אורך כולל של,FFT קובע רזולוציה של חישוב פורמנטות. Freq -תדרי פורמטות משוערכים outar -פרמטרי מודל AR משוערך

6 השווה את התוצאות בסעיף 2.3 לפרמטרי המודלים האמיתים ולחישובים התאורטים שביצעת בסעיף 2.2. השתמש במדדים הבאים: א.מרחק בין המקדמים למקדמים המשוערכים. E a P i1 a i a i a a 2 i i 2 a i כאשר הוא המקדם ה- i האמיתי ו- הוא המקדם המשוערך. ב.מרחק ריבועי ממוצע error( (mean square בין ספקטרום המחושב מפרמטרי המערכת המקורית ובין ספקטרום המחושב ממקדמי המערכת המשוערכת.(LPC( עבור הקטע ה- VOICED בצע את הבדיקה עבור מסגרות המתואמות לתדר ההלמים )תדר ה- Pitch ). 2.5 חשב את הספקטוגרמה של שני האותות. א. המחש בעזרת שינוי אורך החלון את התשובה שנתת לשאלה 5.3 בשאלות ההכנה. ב. השווה את הספקטוגרמה של שני האותות. ג. מדוד בספקטרוגרמה את תדר ה- Pitch ותדרי הפורמנטות. הדרכה חישוב הסתוגרמה בעזרת הפונקציה:.specgram להצגת הסתוגרמה השתמש בפקודות: colormap(gray( imagesc(), axis xy, לפני הדפסה של הסתוגרמה השתמש בפקודה: colormap(gflipud(ray(( 3 עבוד אות דיבור. # סטטיסטיקה של אות הדיבור. 3.1 בדוק את התפלגות האמפליטודות של אות הדיבור. השתמש בכל מקטעי הדיבור שדגמת ע"מ לצייר את ההיסטוגרמה. )השתמש בפקודה (HIST א. האם ההתפלגות שקיבלת מתאימה לתאוריה? ב. השווה בין התפלגות האמפליטודות בין מקטעים הבאים: שקט,.Unvoiced,Voiced ג. האם ניתן להבחין בעזרת התפלגות האמפליטודות בין המקטעים השונים? )שקט,.(Unvoiced,Voiced # מאפיין אנרגיה. 3.2 חשב אנרגיה במסגרות של 40msec עם חפיפה של 25%. העיבוד יתבצע על חזרה אחת של כל מילה. א. צרף גרף אחד לדוגמא של האנרגיה המחושבת. ב. האם ניתן להבחין בעזרת מאפיין האנרגיה בין המקטעים השונים? )שקט,.(Unvoiced,Voiced # מאפיין חצית אפסים - CRossing.(ZCR) Zero 3.3 חשב מספר חצית אפסים במסגרות של 40msec עם חפיפה של 25%. העיבוד יתבצע על חזרה אחת של כל מילה. א. צרף גרף אחד לדוגמא של ZCR המחושבת. ב. האם ניתן להבחין בעזרת מאפיין ZCR בין המקטעים השונים? )שקט,.(Unvoiced,Voiced # סטציונריות. 3.4 התבונן במקטע מייצג של כל אחד מהקטעים השונים וציין אלו מהאותות יכול להחשב סטציונרי או סטציונארי למחצה. צרף דוגמא. # מיצוי מאפיינים.

7 כתוב תוכנית לעיבוד מקדים של אות הדיבור עפ"י סכמת המלבנים הנתונה בסעיף 8 של דו"ח מכין. 3.6 חשב את המאפיינים הבאים:.Formants,Pitch )בעזרת הפונקציות: sift ו- formants ( א.בכמה Formants אתה מבחין? ב.האם יש הבדל בין מקטעי Voiced למקטעי Unvoiced במאפיינים שחישבת? 3.7 באיזה סוג מקטע דיבור יש משמעות למאפיינים אלו? Unvoiced( ו\או.(Voiced הדגם את מסקנתך. 3.8 השווה במקטע Voiced בין תדר ה- Pitch המחושב )סעיף 3.6( לשיערוך ה- Pitch מתוך האות הזמני. )מתוך הסתכלות באות הזמני שערך את "תדר ההלמים" היוצרים את מקטע ה-.)Voiced 3.9 האם ניתן להבחין בעזרת מאפיינים המוזכרים בסעיף 3.5 בין המקטעים השונים? )שקט,.(Unvoiced,Voiced # חישוב מקדמי חיזוי לינארי בסעיפים הבאים השתמש בשני קבצים דגומים עפ"י בחירתך שערך את מקדמי חיזוי לינארי של מקטעי Voiced ו- Unvoiced של הקבצים שבחרת. מהו אורך קטע הדיבור אשר ממנו חושבו המקדמים? השתמש ב- 8 עד 12 מקדמים ע"פ בחירתך.נמק מדוע בחרת את מספר המקדמים שבחרתה השווה את שערוך הספקטרום לפי Periodogram לשיערוך בעזרת מקדמי LPC #.ספקטרוגרם בסעיפים הבאים השתמש בקובץ דגום אחד עפ"י בחירתך חשב את הספקטוגרמה של אות הדיבור הדרכה להדפסת הסתוגרמה העזר בהנחיות שניתנו בסעיף עבור האות הסינטטי. הצגת mesh מומלץ להשתמש בצורה הבאה: [A,F,T]=specgram(Signal,WinLen,Fs,window,framerate) mesh(-f,t,abs(a').*abs(a')),view(-37.5,70) colormap(cool) מומלץ לא להדפיס הצגה זו כאשר יש יותר מ- 100 מסגרות, ההדפסה גוזלת זמן רב והתוצאה לא תורמת מידע )צפוף מידי( השווה את התוצאות לחישובים שביצעת באות הסינטטי. האם ניתן להבחין בין המקטעים השונים העזרת הספקטרוגרמה שערך את תדר ה- Pitch וה- Formans מתוך הספקטרוגרמה )מתוך הסתכלות בפלט(. באיזה אורך חלון השתמשת לשיערוך כל אחד מהם? השווה לתוצאות של סעיף השווה את מיקום הפורמנטות כפי שמצאת אותם במקטעי ה- Voiced השונים לתוצאות המופיעות בספרות לגבי הפונמה באותו מקטע השווה את תדר ה- Pitch וה- Formans שלך ושל חבריך למעבדה.

8 38 4 נושא הרחבה. כל סטודנט חייב בביצוע שני נושאים להרחבה. נושא א. הינו חובה לכולם. נושא השני יבחר בייעוץ עם מדריך המעבדה. בכל הפרוייקטים יש להשתמש במילים שנדגמו במסגרת זה, שלך ושל חברך בהתאם לדרישות הפרוייקט. חובה: א. אלגוריתם הקטעה אוטומטית. בפרוייקט זה יש לפתח אלגורתם להקטעה אוטומטית של אות הדיבור למקטעי: שקט,.Unvoiced,Voiced השתמש במאפיינים שנלמדו ב זה. יישם את האלגורתם שפיתחת לקביעה אוטומטית של קצוות המילה ושל גבולות המקטעים בתוך המילה. השווה את התוצאות להקטעה הידנית שבצעת. בחירה )רשות(: ב. זיהוי הברות. בחר מאפיינים ונמק את בחירתך. זיהוי יתבצע ע"י שמירה של מספר "דוגמא" )אחת או יותר( של ההברות והשוואתם בזמן הזיהוי להברה המזוהה. מדד המרחק יהיה אוקלידי )סכום ריבועי ההפרשים(. בדוק את מערכת הזיהוי בתוך דובר ובין דוברים. האם יש הבדל בין רמת הזיהוי של הברות מסוג Voiced להברות מסוג? Unvoiced ג. זיהוי דובר. העתק מספר קבצים מסטודנטים אחרים שמבצעים את המעבדה )לפחות קבצים משני סטודנטים(. בחר את המאפיינים הדרושים למטרת זיהוי דובר. תכנן את מערכת מיצוי המאפיינים וכן את מערכת זיהוי הדובר. בדוק אפשרות של דחית דובר, כלאמר קריטריון שיאפשר לקבוע כי הדובר המזוהה אינו אחד מהדוברים הידועים. התוצאה תנתן במטריצת מבוכה. ד. סינטוז. הפרוייקט זה עליך לתכנן מערכת שתיצור מודל חזאי לינארי משתנה בזמן כך שיסנטז אות דיבור. בדוק את המערכת בעזרת מספר קבצים. הבדיקה תתבצע בשני צורות. 21. בדוק שגיאה ריבועית ממוצעת בין אות הדיבור המקורי לאות הדיבור המסונטז.. בצע מבחן שמיעה למספר אנשים ובקש מהם לתת ציון לטיב הסינטז. בזמן התיכנון והבדיקה תן דעתך למשתנים: אורך חלון, מספר מקדמים, פרמטרים של אות העירעור )רעש לבן, תדר הלמי ערעור:קבוע משתנה(. ה. ו. שיפור אלגורתם הקטעה אוטומטית תחת תנאי SNR שונים. השתמש בכל המידע שרכשת במשך זה. העזר במאמר לחפש מאמר או ספר. זיהוי מילים בעזרת מאפייני.Cepstrum ממש אלגורתם למימוש מאפייני Cepstrum מתוך מאפייני.AR השתמש במאפייני ה- Cepstrum לבנית מערכת לזיהוי מילים במבוססת על מרחק אוקלידי מינימלי. ממש את המערכת על כל המקטעים שדגמת בסעיף דגימת קבצי אות דיבור וכן על מילים של שני דוברים נוספים )השתמש בקבצים שדגמו חבריך למעבדה(. הבדיקה תתבצע על זיהוי מילה בתוך דובר ובין דוברים. תאור הרעיון: חשב שלושה ווקטורים מאפיינים לכל מילה, ווקטור לכל קטע דיבור,Unvoice( (Unvoice,Voice במילה, השתמש בנתוני ההקטעה הידנית. בחר חזרה אחת של כל המילים של דובר אחד ואליה נתייחס כמילות ייחוס. בצע זיהוי של כל שאר החזרות של כל הדוברים. הזיהוי יתבצע ע"י מדידת מרחק ריבועי ממוצע בין ווקטורים המייצג את המילה מזוהה למילות הייחוס. המילה תזוהה עפ"י מרחק מינימאלי. בצע בדיקה זו כאשר כל פעם נבחר סט מילים שונה כמילות ייחוס. בניתוח תוצאות הזיהוי התייחס לזיהוי תלוי דובר ובלתי תלוי דובר.

9 39 ו. דו"ח מסכם - הערכות ומסקנות 1. ערוך את התוצאות בצורה מסודרת. תן הסבר, איך התקבלו התוצאות ומהן מסקנותיך? 2. שלב את התשובות על שאלות אשר בגוף מהלך ה, בתוך הדו"ח המסכם.

מבוא לתכנות ב- JAVA תרגול 7

מבוא לתכנות ב- JAVA תרגול 7 שאלה )מועד א 2013( לפניך מספר הגדרות: תת מילה של המילה word הינה רצף של אותיות עוקבות של word פלינדרום באורך le היא מילה בעלת le אותיות שניתן לקרוא אותה משמאל לימין וגם מימין